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摘要 : 虚拟 现实 技术 已 广泛 应 用 于 训练 演习 、 工 程 设 计 规划 和 文化 娱乐 展示 等 方面 。 本 文 拟 
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虚拟 现实 技术 
的 见解 。 
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的 教育 与 培训 、 安 全 与 健康 、 产 品 设计 ， 一 直 是 
围绕 这 一 思路 ， 作 者 曾经 研究 、 探 讨 : 如 何 利用 
站 助 运动 员 进 行 科学 训练 ; 如 何 利用 信息 技术 获取 和 分 


析 人 体 运 动 信号 ， 为 康复 训练 提供 新 方法 和 工具 ; 如 何 构建 沉浸 式 虚 拟 环 境 ， 为 装配 操作 训 


练 提供 新 方法 和 工具 。 
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设备 和 设施 标准 ， 改 善 中 等 职业 学 
F， 提 高 虚拟 仿真 、 模 拟 现实 和 多 媒体 教学 等 信息 化 教学 实 训 水 平 ， 培 养 800 
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感官 渠道 的 共同 刺激 下 ， 人 类 对 客观 世界 及 其 规律 


和 深刻 。20 世纪 20 年 代 于 美国 产生 的 行为 主义 心理 学 派 认为 : 
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程 。 环 境 是 否 “ 友 好 ” 反馈 是 否 及 时 准确 、 学 习 者 的 体验 是 否 和 逼真 、 安 全 等 因素 直接 影响 
到 学 习 的 效果 。 


受 行为 主义 理论 的 影响 ， 布 卢 姆 及 其 合作 者 "以 行为 结果 为 目标 分 类 依据 ， 将 人 类 的 学 
习 分 为 三 个 基本 领域 : 认 知 、 情 感 和 动作 技能 。 这 三 个 领域 的 学 习 都 要 求学 习 者 在 探索 和 认 
知 环境 的 同时 ， 能 够 收 到 环境 对 其 学 习 行为 的 正 向 反馈 ， 以 强化 客观 环境 对 主观 行为 的 修正 
效果 ， 虚 拟 现 实 恰 恰 提供 了 实现 这 一 要 求 的 技术 文 撑 。 随 着 虚拟 现实 技术 的 发 展 ， 心 理学 家 
也 已 开始 采用 虚拟 现实 手段 和 工具 研究 人 类 学 习 基本 规律 。 最 近 ， 社 会 心理 学 家 拜 伦 森 
(Bailenson〉 及 其 合作 者 的 研究 进一步 证 实 了 沉浸 式 虚拟 环境 在 远程 教学 中 的 正面 效果 
并 通过 观察 实验 验证 了 虚拟 现实 技术 在 人 们 学 习 动 作 技 能 时 的 有 效 性 门 。 


事实 上 , 虚拟 现实 技术 在 辅助 动作 技能 学 习 方面 的 优势 主要 是 由 其 可 构建 多 维度 虚拟 环 
境 、 及 时 且 有 和 针对 性 的 交互 反馈 、 成 本 相对 较 低 、 安 全 可 控 等 技术 特点 决定 的 。 


一 般 说 来 , 一 个 完整 的 虚拟 现实 系统 (虚拟 环境 ) 由 以 高 性 能 计算 机 为 核心 的 虚拟 环境 
处 理 器 ， 以 头盔 显示 器 为 核心 的 视觉 系统 ， 以 语音 识别 、 声 音 合成 与 声音 定位 为 核心 的 听觉 
系统 ， 以 方位 跟踪 器 、 数据 手 套 和 数据 衣 为 主体 的 身体 方位 姿态 跟踪 设备 , 以 及 味觉 、 嗅觉、 
触觉 与 力 觉 反 馈 系 统 等 功能 单元 构成 。 虚拟 环境 处 理 器 是 虚拟 现实 系统 的 心脏 , 完成 虚拟 世 
界 的 产生 和 相关 信息 、 数 据 的 处 理 功能 。 输入 设备 给 虚拟 现实 系统 提供 来 自用 户 的 输入 ,3 
允许 用 户 在 虚拟 环境 中 改变 自己 的 位 置 、 视 线 方向 和 视野 , 也 允许 改变 虚拟 环境 中 虚拟 物体 
的 位 置 和 方向 。 而 输出 设备 是 把 由 虚拟 现实 系统 (虚拟 环境 ) 综合 产生 的 各 种 感官 信息 输出 
给 用 户 ， 使 用 户 产生 一 种 身 临 其 境 的 逼真 感 。 


这 样 的 虚拟 环境 具备 多 种 感官 刺激 功能 ， 上 共有 沉 温 、 交 互 、 构 想 三 方面 的 特点 。 利 用 虚 
拟 现实 技术 的 沉浸 性 ， 学 习 者 可 以 在 虚拟 环境 里 扮演 一 个 角色 ， 从 而 激发 其 学 习 兴趣 ， 提升 
学 习 的 主动 性 , 全 身心 地 去 练习 一 门 技 能 , 直至 掌握 这 项 技能 。 利 用 虚拟 现实 技术 的 交互 性 ， 
学 生 可 以 通过 自然 的 交互 操作 学 习 复 杂 的 操作 技能 ， 并 根据 系统 给 出 的 反馈 反复 进行 练习 。 
利用 虚拟 现实 技术 的 构想 性 , 学 生 可 以 通过 练习 在 实际 任务 中 获取 经 验 , 形成 所 需要 的 技能 ， 
并 创造 出 新 的 知识 。 


一 因此 ， 利 用 虚拟 现实 技术 构建 的 虚拟 学 习 环境 可 以 提供 包括 视觉 、 听 觉 、 触 觉 等 在 内 通 


全 真 感官 体验 , 正 符合 行为 主义 心理 学 派对 人 类 学 习 过 程 的 主张 , 可 以 提高 技能 学 习 的 效率 和 
到 质量 。 此 外 ， 对 于 一 些 需 要 高 昂 的 训练 费用 ， 较 大 的 场地 或 者 训练 条 件 危 险 的 技能 ， 虚 拟 现 


实 技术 不 仅 可 以 提供 一 种 安全 廉价 的 可 反复 进行 练习 的 训练 环境 , 而 且 允 许 教师 全 程 记录 并 
分 析 学 生 学 习 过 程 中 的 行为 ， 有 助 于 设计 更 合适 的 学 习 情景 。 


3 ”国内 外 应 用 研究 现状 


目前 , 基于 虚拟 环境 的 学 习 和 训练 已 经 成 为 虚拟 现实 技术 的 重用 应 用 领域 之 一 。 在 那些 
非常 昂贵 、 危 险 甚至 是 物理 世界 无 条 件 构建 的 学 习 环境 中 , 虚拟 学 习 环境 可 以 替代 传统 学 习 
环境 保障 学 习 者 得 到 足够 有 效 的 练习 。 如 飞行 训练 、 核 武器 拆 装 训练 、 外 科 手 术 技 能 训练 、 
应 急 情 况 下 的 决策 技能 训练 等 。 


(1) . 动作 技能 学 习 与 训练 
型 的 案例 包括 ; 
一 飞行 模拟 训练 : 美国 埃 德 温 . 林 元 (Edwin Link) 在 1927 年 开始 建 i 
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飞行 模拟 训练 装置 Link Tainer， 他 的 设计 专利 后 在 1929 年 首次 发 售 。 这 一 技术 不 
断 得 到 完善 ， 已 被 用 来 训练 战斗 机 飞行 员 在 极端 压力 情况 下 的 任务 操作 ; 


- ”美国 国家 航空 航天 局 (NASA) 于 1993 年 建立 的 沉浸 式 虚 拟 现实 训练 环境 : 该 环 
境 帮 助 完 成 了 哈 勃 太空 望远镜 (Hubble Space Telescope) 的 修 护 和 维护 任务 外 ; 


- ”虚拟 外 科 手 术 学 习 和 训练 环境 : 这 种 环境 可 以 有 效 帮助 实习 生 熟 悉 手术 操作 流程 ， 
但 是 相同 的 学 习 环 境 和 学 习 任 务 对 不 同 实习 生 而 言 其 学 习 效 果 不 一 样 。 帕 死 
(Park) 及 其 合作 者 利用 da Vinci@ 〈 达 芬 奇 ) 手术 系统 进一步 研究 了 不 同 个 体 在 
外 科 手 术 技能 训练 中 的 学 习 效率 和 遗忘 情况 呈 


- 在 社交 丽 惧 症 〈 如 自 闭 症 、 孤 独 症 ) 患者 的 治疗 中 ， 虚 拟 环境 也 发 挥 出 有 别 于 伟 
统治 疗 方法 的 优势 。 利 用 虚拟 环境 构建 社交 事件 ， 患 者 可 以 通过 角色 扮演 学 习 社 
交 技能 中 。 


(2) . 决策 技能 学 习 与 训练 


和 紧急 情况 下 决策 技能 的 学 习 与 训练 具有 不 同 于 常规 技能 学 习 和 训练 的 鲜明 特点 ， 例 如 : 
Pe 这 种 决策 时 间 短 、 压 力 大 (如 应 急 管理 决策 可 能 直接 关系 到 大 量 公众 的 生命 保障 和 巨大 社会 
经 济 财富 的 保全 )、 所 需 信 息 不 完备 、 存 在 大 量 干扰 信息 、 形 势 瞬息 万 变 等 ， 因 而 对 学 习 目 
A 标 有 更 高 的 要 求 , 只 有 高 度 体验 型 的 学 习 环 境 (如 沉浸 式 虚拟 学 习 环境 ) 才能 达到 训练 目标 。 
S 再 有 ， 在 安全 科学 领域 早期 研究 中 ， 主 要 探讨 利用 虚拟 现实 技术 开展 应 急 响应 和 重建 ， 如 训 
a 练 应 急 管理 决策 人 员 、 训 练 远 程 操作 人 员 、 召 开 远程 紧急 会 议 等 方面 中 。 沉 浸 式 虚拟 学 习 环 
©O 境 也 被 引入 到 大 学 教育 ， 用 于 培训 金融 危机 事件 下 学 生 的 协同 决策 技能 中 。 


5 4 ”虚拟 环境 生成 技术 


沉浸 式 虚拟 学 习 环境 的 构建 离 不 开 虚 拟 环境 生成 技术 。 目 前 已 有 多 种 方法 和 工具 可 以 用 
来 创建 虚拟 环境 ， 如 CAD 技术 、Max、Maya 等 。 然 而 ， 定 制 包 含 一 定 学 习 内 容 或 任务 的 虚 
拟 情境 仍然 需要 花费 大 量 的 时 间 ， 并 且 其 允 真 度 也 有 竺 进一步 提高 。 因 此 ， 为 了 快速 、 高 效 
地 制作 满足 用 户 需 求 的 逼真 虚拟 环境 ,大 多 采用 基于 数据 获取 的 技术 和 设备 ， 以 及 基于 数据 
驱动 的 建 模 方法 。 本 节 拟 分 别 介绍 视觉 、 听 觉 、 触 觉 三 方面 内 容 的 生成 技术 和 设备 。 


4.1 视觉 内 容 的 获取 技术 及 设备 

人 类 感知 外 界 环境 信息 一 般 是 通过 感觉 器 官 进行 的 ， 其 中 大 部 分 信息 来 源 于 人 的 眼睛 。 
因而 ， 三 维 (3D) 视觉 内 容 的 获取 技术 及 设备 都 无 一 例外 地 模拟 人 眼 的 感知 过 程 。 从 技术 
的 角度 来 说 , 三 维 内 容 获 取 的 实质 也 就 是 要 测量 、 跟踪 、 记录 物体 在 三 维 空间 中 的 运动 信号 。 
典型 的 获取 设备 一 般 由 以 下 几 个 部 分 组 成 : 

- 感知 设备 : 如 CCD/CMOS 相机 、 加 速度 计 、 结 构 光 、 电 磁 传 感 器 等 ,通常 被 设计 

在 系统 内 部 或 者 运动 物体 身体 上 ， 负 责 向 系统 提供 物体 的 运动 信息 。 

- ， 信 和 号 捕获 设备 : 负责 捕获 、 识 别 感知 设备 感知 到 的 信号 。 

一 ”数据 传输 设备 : 负责 将 各 路 信号 同步 ， 并 快速 准确 地 传送 到 系统 的 计算 处 理 单元 。 

一 ”数据 处 理 设备 ,负责 处 理 系统 捕获 到 的 原始 信号 ， 计 算 捕获 物体 的 几何 信息 ， 重 
建 捕获 物体 的 形状 、 运 动 信息 。 
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传统 的 机 器 视觉 传 感 是 将 三 维 的 景物 投影 成 二 维 图 像 。 由 于 丢失 了 深度 信息 , 因而 重 构 
的 三 维 景 物 不 是 唯一 的 ， 这 就 是 计算 机 视觉 领域 著名 的 病态 问题 。 因 此 ,采用 计算 机 视觉 的 
获取 系统 , 一 般 需 要 多 路 相机 或 者 需要 其 它 可 以 感知 深度 信息 的 感知 设备 补充 。 也 可 以 直接 
用 电磁 或 机 械 系统 模拟 人 眼 的 感知 。 


不 同 技术 原理 的 设备 各 有 其 优 缺 点 ， 一 般 可 从 以 下 几 个 方面 进行 评价 : 定位 精度 、 实 时 
性 、 使 用 方便 程度 、 可 捕获 运动 范围 大 小 、 成 本 、 抗 干扰 性 、 多 目标 捕获 能 力 。 获 取 技 术 与 
设备 主要 有 以 下 几 类 : 


(1) . 电磁 式 获取 技术 与 设备 


电磁 式 获取 技术 与 设备 一 般 由 发 射 源 、 接 收 传感器 和 数据 处 理 单 元 组 成 。 发 射 源 在 空间 
产生 按 一 定时 空 规 律 分 布 的 电磁 场 ， 接 收 传感器 (通常 有 10 一 20 个 ) 安置 在 表演 者 身体 的 
关键 位 置 ， 随 着 表演 者 的 动作 在 电磁 场 中 运动 ， 通 过 电费 或 无 线 方式 与 数据 处 理 单元 相连 。 
表演 者 在 电磁 场 内 表演 时 ， 接 收 传感器 将 接收 到 的 信号 通过 电缆 传送 给 处 理 单 元 ,根据 这 些 
信和 号 可 以 解 算 出 每 个 传感器 的 空间 位 置 和 方向 。Polhemus 公司 和 Ascension 公司 均 以 生产 电 
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伺 式 获取 技术 与 设备 而 车 称 。 目前 这 类 系统 的 采样 速率 一 般 为 每 秒 15 一 120 次 (依赖 于 模型 
C 和 传感器 的 数量 )， 为 了 消除 抖动 和 和 干扰， 采样 速率 一 般 在 15Hz 以 下 。 对 于 一 些 高 速 运动 ， 
和 如 人 拳击、 篮球 比赛 等 ， 该 采样 速度 还 不 能 满足 要 求 。 


电磁 式 获 取 技 术 与 设备 的 优点 首先 在 于 它 记 录 的 是 六 维 信息 ， 即 不 仅 能 得 到 空间 位 置 ， 
还 能 得 到 方向 信息 ， 这 一 点 对 某 些 特殊 的 应 用 场合 很 有 价值 。 再 有 ， 装 置 的 定 标 比较 简单 ， 
技术 较 成 熟 ， 鲁 棒 性 好 ， 成 本 相对 低廉 。 它 的 缺点 在 于 对 环境 要 求 严格 ， 在 表演 场地 附近 不 
能 有 金属 物品 ， 否 则 会 造成 电磁 场 畸 变 ， 影响 精度 。 系 统 的 允许 表演 范围 比 光学 式 要 小 ， 特 
别 是 电缆 对 表演 者 的 活动 限制 比较 大 ， 对 于 比较 剧烈 的 运动 和 表演 则 不 适用 。 


(2) . 机械 式 获取 技术 与 设备 
机 械 式 获取 技术 与 设备 主要 依靠 机 械 装 置 来 跟踪 和 测量 运动 轨迹 。 典 型 的 系统 由 多 个 关 


装置 运动 时 , 根据 角度 传感器 所 测 得 的 角度 变化 和 连 杆 的 长 度 , 可 以 得 出 杆 件 末 端点 在 空间 
中 的 位 置 和 运动 轨迹 。 
这 种 方法 的 优点 是 成 本 低 ， 精 度 也 较 高 ， 可 以 作 到 实时 测量 , 还 可 容许 多 个 角色 同时 表 
演 。 其 缺点 是 使 用 起 来 非常 不 方便 ， 机 械 结构 对 表演 者 的 动作 阻碍 和 限制 很 大 。 
(3) . 声学 式 获取 技术 与 设备 
常用 的 声学 式 运动 获取 装置 由 发 送 器 、 接 收 器 和 处 理 单元 组 成 。 发 送 器 是 一 个 固定 的 超 
声波 发 生 器 ,接收 器 一 般 由 呈 三 角形 排列 的 三 个 超声 探头 组 成 。 通 过 测量 声波 从 发 送 器 到 接 
收 器 的 时 间或 者 相位 差 ， 系 统 可 以 计算 并 确定 接收 器 的 位 置 和 方向 。Logitech、SAC 等 公司 
都 生产 超声 波 运动 捕获 设备 。 
这 类 装置 成 本 较 低 , 但 对 运动 的 捕获 有 较 大 延迟 和 请 后 , 实时 性 较 差 , 精度 一 般 不 很 高 ， 
声 源 和 接收 器 间 不 能 有 大 的 遮挡 物体 , 受 噪声 和 多 次 反射 等 干扰 较 大 。 由 于 空气 中 声波 的 速 
度 与 气压 、 湿 度 、 温 度 有 关 ， 所 以 还 必须 在 算法 中 做 出 相应 的 补偿 。 
(4) . 光学 式 获 取 技 术 与 设备 。 
光学 式 运动 获取 通过 对 目标 上 特定 光 点 的 监视 和 跟踪 来 完成 运动 捕获 的 任务 。 目 前 常见 
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的 光学 式 运 动 捕获 大 多 基于 计算 机 视觉 原理 。 从 理论 上 说 ,对 于 空间 中 的 一 个 点 ,只 要 它 能 
同时 为 两 部 相机 所 见 , 则 根据 同一 时 刻 两 部 相机 所 拍摄 的 图 像 和 相机 参数 ， 可 以 确定 这 一 时 
刻 该 点 在 空间 中 的 位 置 。 当 相机 以 足够 高 的 速率 连续 拍摄 时 ， 从 图 像 序列 中 就 可 以 得 到 该 点 
的 运动 轨迹 。 


典型 的 光学 式 运 动 捕获 系统 通常 使 用 6 一 8 个 相机 环绕 表演 场地 排列 。 这 些 相机 的 视野 
重奏 区 域 就 是 表演 者 的 动作 范围 。 为 了 便于 处 理 ， 通 常 要 求 表演 者 穿 上 单 色 的 服装 ， 在 身体 
的 关键 部 位 ， 如 关节 、 艇 部 、 肘 、 腊 等 位 置 贴 上 一 些 特制 的 标志 或 发 光 点 ， 称 为 "Marker"。 
视觉 系统 将 识别 和 处 理 这 些 标志 。 系 统 定 标 后 ， 相 机 连续 拍摄 表演 者 的 动作 ， 并 将 图 像 序列 
保存 下 来 ， 然 后 再 进行 分 析 和 处 理 ， 识 别 其 中 的 标志 点 ， 并 计算 其 在 每 一 瞬间 的 空间 位 置 ， 
进而 得 到 其 运动 轨迹 。 为 了 得 到 准确 的 运动 轨迹 ， 相 机 应 有 和 较 高 的 拍摄 速率 ， 一般 要 达到 每 
秒 60 帧 以 上 。 如 果 在 表演 者 的 脸 部 表情 关键 点 贴 上 Marker， 则 可 以 实现 表情 捕获 。 


光学 式 运 动 捕 获 的 优点 是 表演 者 活动 范围 大 ,无 电缆、 机械 装置 的 限制 ,表演 者 可 以 自 
地 表演 ， 使 用 很 方便 。 其 采样 速率 较 高 ， 可 以 满足 多 数 高 速 运动 测量 的 需要 。Marker 的 
价格 便宜 ， 便 于 扩充 。 这 种 方法 的 缺点 是 系统 价格 昂贵 ， 虽 然 它 可 以 捕获 实时 运动 ， 但 后 处 
理 〈 包 括 Marker 的 识别 、 跟 踪 、 空 间 坐 标的 计算 ) 的 工作 量 较 大 ， 对 于 表演 场地 的 光照 、 
反射 情况 有 一 定 的 要 求 ， 装 置 定 标 也 较为 烦琐 。 特 别 是 当 运 动 复 杂 时 ， 不 同 部 位 的 Marker 
有 可 能 发 生 混淆 、 谈 挡 ， 产 生 错 误 结果 ， 这 时 需要 人 工 干 预后 处 理 过 程 。 


(5) . 结构 光 获取 技术 与 设备 


结构 光 法 将 激光 器 (或 投影 仪 ) 发 出 的 光束 经 光学 系统 形成 某 种 形式 的 光 ， 包括 点 、 单 
线 、 多 线 、 单 贺 、 同 心 多 圆 、 网 格 、 十 字 交 又 、 砍 度 编 码 图 案 、 彩 色 编 码 图 案 和 随机 纹理 投 
影 等 投向 景物 , 在 景物 上 形成 图 案 并 由 摄像 机 摄取 , 而 后 由 图 像 根据 三 角 法 和 传感器 结构 参 
数 进行 计算 , 得 到 景物 表面 的 深度 图 像 和 三 维 侍 标 。 深度 图 像 中 各 像素 的 值 表示 景物 表面 上 
各 点 到 摄像 机 间 的 绝对 距离 ,因而 可 以 直接 得 到 被 测 物 的 形状 与 位 置信 息 。 这 种 方法 有 两 个 
优点 : 一 是 它 在 工作 空间 形成 了 一 个 已 知 的 光 模 式 , 模式 发 生变 化 表明 存在 一 个 物体 ， 从 而 
简化 了 物体 检测 问题 。 二 是 通过 光 模 式 发 生 畸 变 的 情况 ， 可 以 了 解 物 体 的 三 维特 性 。 该 方法 
的 传感器 具有 体积 小 、 价 格 低 、 便 于 安装 和 维护 的 特点 ， 在 工业 中 成 为 三 维 感知 最 常用 的 技 


Dd (6) . 摄像 机 阵列 获取 技术 与 设备 
摄像 机 阵列 获取 系统 使 用 经 过 严格 标定 的 密集 摄像 机 阵列 ， 不 但 可 以 避免 位 置 改变 、 朝 


向 、 焦 距 和 标定 等 问题 的 困扰 , 而 且 甚 至 可 以 完成 动态 场景 的 采集 。 麻 省 理工 学 院 、 卡 内 基 . 
梅 隆 大 学 和 斯 坦 福 大 学 先后 于 2004 年 和 2005 年 构建 了 该 类 系统 ,在 此 基础 上 可 以 完成 光照 
的 采集 、 插 值 和 渲染 ， 从 而 生成 共有 荧 真 光照 变化 的 三 维 动态 内 容 。 特 别 值得 一 提 的 是 ， 美 
国 南 加 州 大 学 的 德 贝 维 奇 (Debevec) 等 人 ， 根 据 光 照 复 用 理论 设计 了 一 系列 变化 光照 下 对 
人 物 进 行 静态 图 像 或 动态 视频 的 采集 系统 , 可 以 实现 高 质量 逼真 变化 光照 下 的 人 物 重 光照 效 
果 。 但 该 系统 只 能 处 理 规则 的 周期 的 运动 对 象 ， 例 如 ， 步 态 一 至 的 行人 的 真实 感 再 现 ， 而 无 
法 实现 更 复杂 情况 如 舞蹈 等 非 规则 人 体 运 动 的 全 景 真实 感 再 现 。 


4.2 听觉 内 容 生成 技术 及 设备 


在 虚拟 现实 系统 中 , 听觉 信息 是 仅 次 于 视觉 信息 的 第 二 传 感 通道 。 听 觉 通道 给 人 的 听觉 
系统 提供 声音 显示 , 也 是 创建 虚拟 世界 的 一 个 重要 组 成 部 分 。 在 虚拟 现实 系统 中 加 入 与 视觉 
并 行 的 三 维 虚拟 声音 ， 一 方面 可 以 在 很 大 程度 上 增强 用 户 在 虚拟 世界 中 的 沉浸 感 和 交互 性 ， 
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男 一 方面 也 可 以 减弱 大 脑 对 于 视觉 的 依赖 性 ， 降低 沉浸 感 对 视觉 信 
有 视觉 感受 又 有 听觉 感受 的 环境 中 获得 更 多 的 信息 。 


面向 技能 学 习 的 虚拟 现实 技术 研究 


息 的 要 求 , 使 用 户 能 从 既 


虚拟 现实 系统 中 的 三 维 虚拟 声音 与 人 们 熟悉 的 立体 声音 完全 不 同 。 我 们 日 常 听 到 的 立体 


声 录音 虽然 有 左右 声 道 之 分 , 但 就 整体 效果 而 言 , 我 们 能 感 
个 平面 ; 而 虚拟 现实 系统 
个 球形 中 的 任何 地 方 ， 即 声音 可 能 出 现在 头 的 | 
使 用 户 准确 地 判断 出 声 源 的 精确 位 置 、 


虚拟 声音 。 


三 维 


声音 生成 的 研究 包括 中:， (1) 


泣 开 


FP 的 三 维 虚 拟 声 音 却 使 听 者 能 感觉 


感觉 到 立体 声音 来 自 听 者 面前 的 某 

到 声音 是 来 自 围绕 听 者 双 耳 的 一 
上 方 、 后 方 或 者 前 方 。 因 而 把 在 虚拟 场景 中 能 
符合 人 们 在 真实 境界 中 听觉 方式 的 声音 系统 称 为 三 维 


基于 物理 的 声音 建 模 ， 如 : 物体 碰撞 的 声音 、 


流体 声 


可 看 作 许 多 幅 值 、 相 位 唯一 
音 的 频谱 分 析 。 


声音 的 定位 和 空间 化 双 耳 班 


论 不 能 解释 同一 平面 内 或 仰角 


; 〈2) 声音 在 三 维 空间 中 定位 、 距 离 感 知 ; (3) 多 核 处 理 器 进行 实时 的 声音 传播 和 声音 洽 
。 其 体内 容 有 : 
声音 的 建 模 对 声音 仿真 的 目的 , 就 是 月 
中 的 声音 。 从 频 域 上 讲 ， 二 者 的 频 


昌 计 算 机 生成 的 声音 能 够 非常 逼近 真实 世界 
谱 分 量 要 相当 接近 。 任 何 真实 世界 中 的 声音 都 


的 正弦 波 分 量 的 混合 ， 对 声音 的 建 模 ， 可 理解 为 对 声 


LE 论 (duplex theory) 认 为 低频 声 源 (20 一 3kHz) 到 达 双 耳 
的 时 间 差 和 高 频 声 源 (5kHz 以 上 ) 对 双 耳 的 声 压 差 决 定 了 人 对 声音 的 定位 。 但 该 理 


相同 的 前 后 对 称 两 个 位 置 的 声音 定位 ， 因 为 这 两 个 


位 置 的 声 源 相 对 人 的 时 间 差 和 声 压 差 是 很 小 的 。 后 来 ， 人 们 使 用 人 工头 (dummy 
系统 制作 声音 ， 由 于 该 系统 考虑 了 人 的 因素 ， 
感到 声音 的 方位 感 和 沉浸 感 增强 了 ， 从 而 验证 了 耳机 可 以 做 到 一 定 程度 的 声音 定 
位 。 但 在 虚拟 现实 的 交互 应 用 中 ， 很 难 做 到 对 每 一 个 位 置 的 每 一 种 声音 都 进行 录 


head 或 称 为 Manikin) 立 体 声 


音 然后 播放 ， 人 工头 立体 声 缺 乏 灵活 性 。 


使 用 户 


人 的 因素 为 提供 更 加 灵活 的 、 沉 浸 感 更 强 的 声音 接口 ， 声 学 家 越 来 越 重 视 研 究 人 
的 因素 ， 认 识 到 了 人 的 外 耳 、 头 部 阴影 等 因素 也 影响 着 声音 的 定位 ， 于 是 提出 了 
头 部 相关 传递 函数 (HRTF，Head 一 Related Transfer Functions) 的 概念 。 在 时 域 上 ， 
称 为 人 的 双 耳 脉冲 响应 。 人 耳 的 头 部 相关 传递 函数 是 自由 场 中 声 源 的 方位 角 、 声 
源 到 头 中 心 的 距离 (2 米 以 内 ) 以 及 声波 的 角 频 率 的 函数 。 不 同 的 人 有 不 同 的 传递 函 


数 。 即 使 是 同一 个 人 人， 周围 不 同 的 角 


位 置 ， 也 对 应 着 不 同 的 传递 函数 。 所 


头 部 周围 不 同 角 位 置 的 头 部 相关 传递 函数 可 以 建立 虚拟 的 三 维 声音 。 


声音 的 距离 感 由 于 虚拟 环境 并 非 全 为 自 
位 时 有 时 出 现 前 后 颠倒 和 声音 在 头 内 的 现象 。 声 音 的 距离 信息 既 有 助 于 听 者 跟踪 
来 源 ， 又 有 助 于 声音 的 定位 。 


当 声 源 到 头 中 心 的 距离 在 2 米内 时 ， 声 音 的 距离 信息 决定 于 头 部 相关 


由 场 , 并 且 单 纯 的 头 部 相关 函数 在 


以 利用 


i 本 坟 


情 本 在 


传递 函 


数 。2 米 以 外 ， 距 离 信 息 与 声 强 、 空 气 吸收 、 混 响 及 反射 有 关 ， 即 与 虚拟 环境 的 反 
射 参数 有 关 。 困 此 声音 距离 的 仿真 需要 体现 对 环境 特性 的 仿真 。 


如 果真 实 场景 的 脉冲 响应 是 可 测量 时 ， 可 采用 室内 声学 测量 中 常 采 
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儿 何 声学 基础 


的 伪 随 
机 噪声 M 系列 。 如 果 要 模拟 虚拟 的 场景 或 要 模拟 的 场景 的 脉冲 响应 不 能 通 
得 到 时 ， 环 境 的 声场 模拟 可 采用 建立 了 
或 结合 了 两 种 方法 的 综合 算法 。 


上 之 上 的 射线 跟踪 法 、 镜 像 法 


过 测量 
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一 三 维 音频 泻 染 算法 处 理 多 声 源 及 大 场景 情况 下 的 声音 泻 染 往往 耗 时 甚 久 , 泻 染 一 
个 场景 甚至 需要 几 周 的 时 间 。 在 近期 的 研究 工作 中 , 国内 外 研究 人 员 采 用 了 GPU、 
多 核 处 理 器 、 自 适应 矩阵 分 解 等 软 硬 件 方法 对 声音 泻 染 进行 加 速 ， 大 大 提高 了 声 

音 泻 染 的 效率 ， 减 少 了 声音 泻 染 的 时 间 。 

4.3 触觉 内 容 生成 技术 及 设备 

触觉 技术 (Haptics) 能 模拟 出 与 屏 蒂 上 对 象 的 形状 和 纹理 有 关 的 逼真 触觉 在 交互 过 程 
中 有 着 不 可 替代 的 作用 。 目 前 主要 应 用 于 国防 、 教 育 、 建 筑 、 医 学 等 领域 。 比 如 通过 触觉 技 
术 设备 ， 宇 航 员 可 以 模拟 太空 作业 ; 游戏 用 户 可 以 在 一 个 虚拟 世界 里 打 乒 乓 球 ， 既 能 看 到 球 
的 运动 ， 还 能 在 挥 拍 击 球 时 感觉 到 球 的 撞击 ， 能 产生 强烈 的 身 临 其 境 的 感觉 。 当 前 的 研究 主 
要 是 触觉 交互 感知 设备 以 及 虚拟 物体 的 触觉 建 模 5。 


触觉 交互 感知 设备 从 功能 上 可 分 为 两 大 类 59:， 触觉 再 现 (Tactile Display ) 和 力 觉 /动感 反 
馈 ( Force/ Kinesthetic Feedback)。 人 触觉 的 感知 ， 包 含 材 料 的 质感 、 纹 理 感 以 及 温度 感 等 。 目 
前 能 模拟 的 仅 是 一 般 的 接触 感 即 力 感 。 力 觉 感知 设备 要 求 能 反馈 力 的 大 小 和 方向 , 与 触觉 反 
一 馈 装 置 相 比 ， 力 觉 反 馈 装 置 设 计 成 熟 一 些 。 


虚拟 物体 的 触觉 建 模 本 质 上 是 一 种 基于 物理 约束 的 物体 受 力 变形 的 模型 , 其 所 计算 的 作 
用 力 或 受 力 变形 应 当 尽 可 能 接近 真实 世界 中 物体 之 间 相 互 作用 所 产生 的 作用 力 或 受 力 变形 。 
目前 触觉 建 模 研究 中 较 多 的 是 针对 简单 情况 下 , 物体 间 相 互 作用 时 力 的 计算 算法 , 对 于 物体 
受 力 /触觉 作用 时 的 变形 计算 还 处 于 起 步 阶段 。 根 据 触觉 接口 设备 在 虚拟 环境 中 的 虚拟 化 身 
Cavatar) 的 不 同 (如 点 、 线 或 体 ) 以 及 虚拟 环境 中 物体 的 不 同 模型 (刚性 或 柔性 等 )， 可 以 有 两 
类 触觉 建 模 方法 :(1) 适用 于 刚性 物体 的 单 点 力 计算 方法 ; 2) 适用 于 柔性 物体 的 利用 受 力 
与 变形 之 间 的 关系 建 模 方法 。 


刚性 物体 的 单 点 力 计算 方 法 包括 基于 点 的 力 生 成 算法 , 基于 线 的 力 生 成 算法 以 及 基于 几 

何 体 的 力 生 成 算法 : 
一 基于 点 的 力 生 成 算法 用 接口 设备 的 末端 点 HIP(haptic interface point, 触觉 接口 点 ) 
与 虚拟 物体 相互 作用 ， 类似 真实 世界 中 借助 棒状 物 等 工具 的 末端 去 触摸 物体 。HIP 


二 只 能 在 空间 某 一 维 方向 上 运动 ， 虚 拟 环境 中 的 avatar 会 刺 入 虚拟 物体 内 部 ， 这 类 
rr 力 建 模 方法 称 为 向 量 场 方法 。 向 量 场 算 法 的 优点 是 力 直 接 正比 于 穿 透 距 离 ， 比 较 
简单 有 效 。 缺 点 是 这 类 算法 并 不 记录 avatar 的 历史 位 置信 息 ， 这 样 在 与 一 些 扁平 


的 或 者 比较 复杂 的 三 维 物体 相互 作用 时 ， 无 法 确定 作用 力 的 方向 以 及 应 该 基于 虚 
拟 物体 的 哪 一 个 表面 来 计算 作用 力 ， 其 次 ， 向 量 场 方法 会 使 得 虚拟 作用 力 出 现 振 
沪 和 能 量 泄 漏 现象 ， 容 易 引 起 系统 的 不 稳定 。 


一 基于 线 的 力 生 成 算法 用 点 接触 模型 虽然 较 简 单 有 效 , 但 不 能 仿真 碰撞 过 程 中 所 产 
生 的 力矩 。 巴 什 多 安 (Basdogan) 等 人 研究 了 4DOF 手指 接触 算法 ， 通 过 带 有 摩 
擦 力 的 点 接触 作用 来 仿真 接触 点 法 向 附近 的 力矩 作 用 。 巴 尔 巴 利 等 人 通过 使 用 射 
线 状 线段 ( 带 有 方向 的 线段 ) 模 型 来 计算 手指 与 虚拟 物体 的 相互 作用 力 。 这 种 模型 可 
以 使 得 操作 者 能 够 同时 与 虚拟 物体 的 多 个 方向 和 面相 互 作 用 ， 并 且 能 够 获得 力矩 
作用 的 再 现 。 


一 基于 几何 体 的 力 生成 算法 基于 几何 体 的 力 生 成 算法 相对 基于 点 和 射线 段 模型 的 
算法 计算 量 更 多 。 虽 然 单个 点 不 足以 用 来 仿真 两 个 三 维 多 面 体 之 间 的 接触 作用 ， 
上 是 一 组 分 布 在 接触 三 维 物体 表面 的 点 集合 却 可 以 来 计算 力 和 力矩 作用 。 麦 死 尼 
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利 (McNeely) 等 人 基于 这 个 思想 和 


究 了 三 维和 茶壶 和 机 械 部 件 之 间 的 力 生 成 算法 ; 


奥 塔 杜 伊 COtaduy) 和 林 (Lin) 则 建立 了 较为 复杂 的 多 面体 虚拟 环境 和 avatar 模 


型 的 相互 作用 模型 。 


和 柔性 物体 的 受 力 与 变形 之 间 的 关系 是 另 一 个 触觉 建 模 方法 。 与 柔性 物体 接触 时 的 作用 力 


元 都 有 一 些 节 点 。 然 


Jo TAN 


位 移 ， 再 运用 预先 选 定 的 插值 函数 来 计算 单元 内 每 一 点 的 位 移 及 其 他 所 关心 的 问 


题 ， 如 应 力 、 应 变 和 
力 变形 计算 。 


- 质点 -弹簧 模型 在 这 个 模型 中 , 整个 物体 被 模拟 成 一 个 由 大 量 质点 和 弹簧 组 成 的 
系统 ， 对 系统 中 所 有 的 质点 根据 牛顿 定律 建立 动力 学 方程 。 这 个 方法 原理 简单 、 
es 计算 量 小 ， 实 时 性 好 。 但 存在 力 的 到 达 深 度 不 受 限 制 、 网 格 的 拓扑 结构 制约 系统 


> 行为 的 问题 。 


通常 是 由 变形 计算 产生 。 因 此 ， 对 接触 力 的 建 模 主要 研究 力 与 变形 的 关系 ,主要 包括 有 限 元 
模型 和 质点 一 弹簧 模型 及 其 变种 : 

- 有 限 元 模型 有 限 元 方法 把 整个 物体 所 在 的 空间 离散 化 为 一 个 个 小 单元 , 每 个 小 单 
后 通过 把 动力 学 方程 离散 化 到 每 个 小 单元 ， 求 出 这 些 节点 的 


内 力 。 这 个 方法 计算 精确 


但 计算 量 大 ， 无 法 直接 用 于 实时 的 


5 ”结束 语 与 未 来 方向 


目前 构建 沉浸 式 虚 拟 学 习 环境 的 技术 
一 步 考 虑 远程 教育 应 用 以 及 人 机 环境 的 适 人 性 ， 以 下 研究 方向 将 是 未 来 努力 的 重点 。 


三 维 动态 物体 的 获取 与 生成 技术 研究 利 


I 
过 


QW 现在 的 触觉 交互 设备 性 能 受 限于 系统 摩擦 、 惯 性 和 不 稳定 性 ,只 能 提供 近似 真实 的 触觉 
OO 本 验 ,而 未 来 的 触觉 交互 系统 应 能 沿 着 皮肤 提供 分 布 式 的 感应 以 获得 真实 
本 东京 大 学 最 近 提出 的 非 接触 式 超声 波 触觉 1。 


的 触觉 仿真 ,例如 ， 


已 有 许多 学 者 研究 探讨 了 如 何 利用 虚拟 现实 技术 构建 沉 温 式 虚拟 学 习 环 境 , 以 帮助 人 们 


学 习 知 识 和 技能 。 尽 管 这 些 工 作 都 取得 了 不 同 程度 的 进展 和 成 功 ， 然 而 ， 从 实用 的 角度 看 ， 


一 目前 虚拟 现实 技术 在 文化 创意 产业 数字 内 容 创作 与 支持 
9 域 中 亟待 解决 的 关键 问题 ,目前 


F 段 还 存在 虚拟 学 习 内 容 抽 


j 作 效率 低下 的 问题 。 如 果 进 


忌 


计算 机 实时 生成 高 真实 感 的 三 维 动态 物体 是 


技能 学 习 的 训练 演习 环境 构建 等 领 


,国内 外 主要 采用 两 种 思路 来 生成 高 真实 感 的 三 维 动态 物体 : 
(1) 通过 计算 机 视觉 系统 或 者 其 他 感知 设备 直接 获取 ; (2)〉 基 于 已 有 的 三 维 获取 内 容 研 发 
相应 的 计算 模型 从 而 再 生 新 的 三 维 内 容 。 然 而 ， 如 何 实时 获取 动态 物体 的 细节 信息 、 如 何 实 


时 生成 响应 动态 环境 变化 的 动态 物体 仍然 是 当前 未 得 到 有 效 解决 的 研究 问题 , 直接 导致 现 有 
技术 无 法 满足 相关 领域 应 用 需要 。 如 , 快速 方便 地 构建 影视 特效 和 动画 电影 领域 所 追求 的 高 


真实 感 的 人 物 以 及 训练 演习 环境 中 实时 响应 动态 环境 的 具备 类 人 智能 的 虚拟 人 物 。 


网 络 环境 下 图 形 内 容 泻 染 技术 研究 借助 计算 机 网 络 技术 将 能 够 把 传统 局 限 在 某 个 固定 


地 点 的 沉浸 式 虚 拟 环境 系统 扩展 到 每 个 网 络 终端 ， 从 而 打造 全 新 的 远程 教育 系统 ， 让 更 多 的 


人 可 以 参与 到 虚拟 学 习 环 境 中 ,享受 全 新 的 学 习 体验 。 要 实现 这 一 目标 ,无 所 不 在 的 图 形 内 


容 显示 将 是 最 为 迫切 的 研究 内 容 ， 而 云 泻 染 技术 是 可 能 


的 解决 方案 。 


三 维 用 户 接口 技术 研究 通过 鼠标 、 键 盘 等 传统 接 


技术 已 经 不 能 满足 三 维 虚拟 世界 同 


物理 世界 间 信 息 交 互 的 需要 , 三 维 用 户 接口 的 研究 势 在 必 行 。 在 虚拟 环境 中 模拟 物理 世界 中 
人 的 交互 行为 , 通过 人 的 化 身 来 实现 物理 世界 同 虚 拟 世 界 的 自然 交互 ， 将 有 助 于 增强 虚拟 学 
习 环 境 的 沉浸 感 与 交互 性 。 人 物 行为 交互 的 智能 性 是 有 望 取得 重点 突破 的 研究 内 容 。 
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社会 化 虚拟 人 研究 游戏 SECOND LIFE 和 电影 《 阿 凡 达 》 的 成 功 标志 着 在 虚拟 环境 
生成 棚 棚 如 生 的 虚拟 人 物 已 经 不 再 是 难事 。 然 而 ， 在 沉浸 式 虚 拟 学 习 环境 ， 人 们 希望 同 虚 拟 
人 物 有 人 性 化 的 交流 , 从 而 提升 学 习 的 效率 和 质量 。 因 此 , 未 来 需要 模拟 虚拟 人 的 社会 属性 ， 
使 得 虚拟 人 不 仅仅 具有 情结， 还 具有 性 格 、 社 交 能 力 等 特质 ， 最 终 使 得 虚拟 人 与 虚拟 人 、 虚 
拟人 与 自然 人 的 交流 变 得 更 加 自然 、 友 好 。 这 一 技术 有 望 支 撑 虚 拟 现实 技术 解决 更 多 实际 应 
用 问题 。 
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